« Il faut clairement définir l’objectif que la Caisse d’allocations familiales souhaite atteindre avec son algorithme »

Pour parvenir à lutter efficacement contre les pratiques illégales, les autorités de contrôle intègrent constamment de nouvelles technologies. Actuellement, elles se tournent de plus en plus vers les algorithmes. Mais, comme le souligne l’enquête publiée le 4 décembre 2023 par Le Monde sur la pratique de ciblage par la Caisse d’allocations familiales (CAF), ou encore les débats autour de l’utilisation de systèmes d’identification lors des prochains Jeux olympiques à Paris, le recours à ces technologies peut générer un certain nombre de préoccupations.

Le phénomène est particulièrement le cas lorsque cela touche des populations en situation de vulnérabilité. Si les préoccupations soulevées par l’enquête du Monde sont avant tout d’ordre éthique et moral, la perspective économique peut aussi apporter un éclairage que nous proposons ici.

Les contraintes, notamment budgétaires, qui pèsent sur les institutions chargées de détecter les fraudes les poussent à adopter un ensemble de dispositifs pour maximiser leur efficacité, notamment le ciblage des contrôles, plutôt que des contrôles totalement aléatoires. Ce ciblage, opéré par des humains ou des algorithmes, repose généralement sur un ensemble de paramètres observables reflétant une probabilité plus élevée de fraude.

Ainsi, les contrôles d’alcoolémie sont renforcés le samedi soir aux abords des lieux de fête, et sont moins fréquents en semaine. De même, la CAF ne contrôle pas, ou peu, les groupes dont le risque de fraude est peu probable ou nul, comme, bien sûr, les non-bénéficiaires de la CAF.

Lire aussi la tribune : Article réservé à nos abonnés « Les systèmes d’intelligence artificielle vont amplifier les biais de genre dans tous les domaines »

L’utilisation de paramètres sensibles peut donner lieu à des discriminations. Pour cela, un certain nombre de critères sont déjà interdits en France, comme l’ethnicité ou le genre. La Cour de justice de l’Union européenne (CJUE) vient ainsi de juger, jeudi 7 décembre 2023, que toute prise de décision qui utilise des systèmes de notation au moyen de données personnelles est illégale.

Des corrélations statistiques

Cependant, un paramètre protégé peut être indirectement approché à l’aide de critères autorisés grâce aux corrélations statistiques. Par exemple, la taille des chaussures peut indiquer le genre, tandis que le quartier de résidence peut suggérer l’ethnicité. L’usage potentiel de milliers de corrélations rend ainsi difficile la prévention de l’utilisation de critères protégés. Concernant la discrimination indirecte de l’algorithme de la CAF, il s’agira donc de l’estimer, et de déterminer si elle se justifie par un but légitime.

Il vous reste 60% de cet article à lire. La suite est réservée aux abonnés.